ข้อมูลเกี่ยวกับรอซีเยเป็นที่ทราบกันน้อยมากจนเมื่อไม่นานมานี้ แม้ชื่อตัวของเขาก็ยังเคยเป็นปริศนา ในช่วงที่เขายังมีชีวิตอยู่ บางครั้งเขาใช้ชื่อว่า เป. รอซีเย (P. Rossier) และในบางครั้งก็มีอีกชื่อคือ แอม. รอซีเย (M. Rossier) ในที่สุดเอกสารต่าง ๆ ที่พบที่เมืองฟรีบูร์ก็ทำให้พิสูจน์ได้ว่าเขามีชื่อตัวว่า ปีแยร์ และสามารถอนุมานได้ว่า อักษร M ใน M. Rossier นั้นย่อมาจาก "เมอซีเยอ" (Monsieur) ซึ่งเป็นคำนำหน้าชื่อบุคคลชายในภาษาฝรั่งเศส มีความเชื่อกันมานานว่าเขามาจากฝรั่งเศส และขณะที่เขาอยู่ในประเทศญี่ปุ่น เขายังถูกเรียกว่าเป็น "ชาวอังกฤษ" อีกด้วย[2] อย่างไรก็ตาม ผลการวิจัยในปัจจุบันเปิดเผยว่า รอซีเยเป็นชาวสวิส เกิดเมื่อวันที่ 16 กรกฎาคม ค.ศ. 1829 ที่กร็องซีวาซ หมู่บ้านเล็ก ๆ ในรัฐฟรีบูร์ เขาเป็นบุตรคนที่ 4 จากพี่น้อง 10 คน ในครอบครัวเกษตรกรที่มีทรัพย์สินไม่มากนัก ในวัย 16 ปี เขาเป็นครูที่โรงเรียนแห่งหนึ่งในหมู่บ้านข้างเคียง แต่เมื่อถึง ค.ศ. 1855 เขาได้หนังสือเดินทางสำหรับเดินทางไปประเทศฝรั่งเศสและอังกฤษในฐานะช่างภาพ[3]

ช่วงหนึ่งหลังออกจากประเทศสวิตเซอร์แลนด์และก่อนเดินทางถึงประเทศอังกฤษ รอซีเยได้รับการว่าจ้างจากบริษัท เนเกรตตีและแซมบรา (Negretti and Zambra) ให้เดินทางไปประเทศจีนเพื่อบันทึกภาพในสงครามฝิ่นครั้งที่สอง (ค.ศ. 1858–1860) เป็นไปได้ว่าทางบริษัทเล็งเห็นว่า สัญชาติสวิสของรอซีเยเป็นประโยชน์ต่อการเดินทางดังกล่าว โดยสถานะเป็นกลางของสวิตเซอร์แลนด์น่าจะเอื้อให้เขาเดินทางข้ามประเทศด้วยเรือของอังกฤษหรือเรือของฝรั่งเศสก็ได้ เมื่อพิจารณาจากค่าใช้จ่ายที่สูงและความไม่แน่นอนที่บริษัทก่อขึ้น รวมทั้งภยันตรายที่อาจเกิดขึ้นกับตัวรอซีเยเอง นี่จึงเป็นการว่าจ้างครั้งสำคัญ[4]